-Text Seite 1 von 2 



AN: PAT 2000-443761 

TI : Image system for producing image spreadsheet e.g. for 

medical applications aligns images so that registration markers 
of corresponding cells in spreadsheet match 

PN: DE19953308-A1 

PD: 08.06.2000 

AB: NOVELTY - The system includes a processor for displaying a 
graphical user interface (GUI) on a display. An image 
spreadsheet generator causes the GUI to display a spreadsheet 
grid with a number of cells having registration markers. 
Equations can be assigned to each cell. The generator is 
responsive to image data with registration data to display 
images in some of the cells, so that the images are aligned and 
oriented such that the registration markers of corresponding 
cells match. The generator is responsive to a user command to 
implement a set of equations in a first set of cells, to 
transform images in the first set of cells. DETAILED 
DESCRIPTION - An INDEPENDENT CLAIM is included for an image 
system. A method of implementing an image spreadsheet is also 
claimed. ; USE - For medical imaging systems such as CT, MR, PET, 
SPECT and 3D ultrasound. ADVANTAGE - Allows images procured by 
different methods to be matched with each other to allow 
medical diagnosis and treatment. DESCRIPTION OF DRAWING (S) - 
The drawing shows a block diagram of the complete system. 

PA: (SIEI ) SIEMENS CORP RES INC; 

IN: BANI -HASHEMI A; GEIGER B; GUPTA A; KRISHNAN A; NADAR M; 

RAMARAJ R; WILLIAMS J; 
FA: DE19953308-A1 08 . 06 . 2000 ; JP2.000172836 -A 23.06.2000; 
CO : DE ; JP ; 

IC: A61B-005/055; A61B-006/00; GOlN-023/00; G06T-001/00; 

G06T-017/40; * - ' ' * x * *' 

MC: S03-E06; S03-E06B; S03-G02B3; S05-D02A1; S05-D02C; 

T01-J10C4; 
DC: P31; S03 ; S05; T01; 
FN: 2000443761 .gif 
PR: US0200068 25.11.1998; 
FP: 08.06.2000 
UP: 25.08.2000 



http://fiz.mchp.siemens.de/HTML/3576835.html 



08.03.2006 



Text 



Seite 2 von 2 




http://fiz.mchp.siemens.de/HTML/3576835.html 



BEST AVAILABLE COPY 



08.03.2006 



m«S PAGE BLANK (uspto) 



to 



© BUNDESREPUBLIK ® 

DEUTSCHLAND 199 53 308 A 1 




DEUTSCHES 
PATENT- UIMD 
MARKENAMT 



(g) Int. CI. 7 : 

G 06 T 17/40 

A 61 B 5/055 
A 61 B 6/00 
G 01. N 23/00 



® Aktenzeichen: 
(22) Anmeldetag: 
(5) Offenlegungstag: 



199 53 308.3 
5. 11. 1999 
8. . 6. 2000 



00 

o 

00 
CO 

m 
« 



25.11.1998 US 



(55) Unionsprioritat: 
200068 

@ Anmelder: 

Siemens Corporate Research, Inc., Princeton, N.J., 
US 

(g) Vertreter: 

Patentanwalte Westphal, Mussgnug & Partner, 
78048 Villingen-Schwenningen 



@ Erfinder: 



US; 



Williams, James, Princeton Junction, N.J. 
Gupta, Alok, East Brunswick, N.J., US; 
Bani-Hashemi, Ali, Belle Mead, N.J., US; Geiger, 
Bernhard, Plainsboro, N.J., US; Krishnan, Arun, 
Plainsboro, N.J., US; Nadar, Mariappan, 
Plainsboro, N.J., US; Ramaraj, Rama, Dayton, N.J., 
US 



< 

00 

o 

CO 
CO 

o 

CD 



Die folgenden Angaben sind den vom Anmelder eingereichten Unterlagen entnommen 

Prufungsantrag gem. § 44 PatG ist gestellt 

© Vorrichtung und Verfahren zum Implementieren eines Bild-Spreadsheets 

© Ein Bild-Spreadsheet erstreckt die Spreadsheet-Struk- 
turen auf zweidimensionale (2D) und dreidimensionale 
(3D) Bilder und .Bildsequenzen, wobei Zellen in dem Bild- 
Spreadsheet Bilddaten und mathematische Operationen 
zugewiesen sind, die Bildoperanden implementieren. Das 
Bild-Spreadsheet ist auf einem Bildsystem mit einem Pro- 
cessor zum Anzeigen einer grafischen Benutzerschnitt- 
stelle (GUI) auf einem Display implementiert. Ein Bild- 
Spreadsheet-Generator bewirkt, dalS die GUI ein Spreads- 
heet-Gitter mit einer Mehrzahl von Zellen mit zugeordne- 
ten Registrierungsmarkern anzeigt, wobei jeder Zelle eine 
Gleichung zugewiesen werden kann. Der Bild-Spreads- 
heet-Generator reagiert auf Bjlddaten mit zugeordneten 
• Registrierungsdaten zum Anzeigen einer Mehrzahl von 
Bildern in einem Teil der Mehrzahl von Zellen, wobei die 
Mehrzahl von Bildern so ausgerichtet und angeordnet ist, 
daft die Registrierungsmarker von entsprechenden Zellen 
zusammenpassen. Der Bild-Spreadsheet-Generator ant- 
wortet auf Benutzereingaben zum Implementieren von 
Gleichungen in die Zellen zum Transformieren von Bil- 
dern. Vorbestimmte Bildtransformierende Funktionen, 
die durch den Benutzerfur jede Zelle vorgegeben werden 
konnnen, erzeugen transformierte Bilder in den Zellen. 
Unter Verwendung einer Bildsubtraktion konnen zum Bei- 
spiel Magnetresonanz-Angiographie (MRA)-Bilder, die 
Bilder enthalten, die das Eindringen eines Kontrastmittels 
in ein vaskulares System darstellen, transformiert wer- 
den, um das vaskulare ... 
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adsheet-Gitter mit einer Mehrzahl von Zellen anzeigt, denen 
Kegistnerungsmarker zugeordnet sind, wobei jeder Zelle 
eine Gleichung zugeordnet werden kann. Der Bild-Spreads- 
heet- Generator spricht auf Bilddaten an, die zugeordnete 
Registnerungsdaten zur Anzeige einer Mehrzahl von Bil- 
dern in emem Teil der Mehrzahl von Zellen aufweisen wo- 
bei die Mehrzahl von Bildern so ausgerichtet und angeord- 
net sind, daB die Registrierungsmarker der entsprechenden 
Zellen aneinander angepaBt sind. Der Bild-Spreadsheet-Ge- 



1 

Beschreibung 
Hintergrund der Erfindung 

Die Erfindung betriffi das Anzeigen von Bildem und ins- 
besondere em Bild-Spreadsheet zur Bearbeitung und Dar- 
stellung mehrfacher Bilder. 

Es ist bekannt, daB Spreadsheet-Anwendungsprogramme 

vSa^Tz^:^ ^--aneinanderangepaBtsind.DerBild-Spreaosh^ 

fiigungsteUen.SolcheDafe«ZrS ge S£:SS; ^£^7^ - Implementierung 

ASCn-Daten im Gegensatz zu anderer TDaten mit l!™ 7»Z PP ^ von G eichungen in einer ersten Gruppe von 

Formaten wie zum Btispiel grafische Daten ™ ^fa ' ^ *" B,Uer ln ^ Gru PP e von ^ en ^ 

Auf dem Gebiet der medizinischen Bilderzeugung exi- Mit voIh«rim m ,.n b-m * t ' • 

snerenemigespezifische ProblemeundAnforderunefn bei 15 i T Bild-transformierenden Funktionen, 

der gleichzeitigen DarsteUung von mta 2n und ^ ««« Benutzer ^ 

me^renArten^onBUd^Mitden^SnW^S BM* X£ SKTV *" ^ 
gebungsverfahren, wie zum Beispiel CT MR PET SPEPT „! ^. ?u i ^ konnen unter Verwendung ei- 
und 3D-Ultraschall, werden Volum/nal^chfSiSS S£ • *e SeV°um£^ (M ^ A >- 
zeugt, die im aUgemeinen in Form von Stapeln von Quer- 20 StSl l ^ 7' daS Euidnn g e n Kon- 

. n h-:».u:ij , . . _ ^ m von vuer w trastmittels in em vaskulares System zeigen, transformiert 

werden, urn das vaskulare System im Hintergrund auszu- 
blenden und den FluB des Kontrastmittels anzuzeigen In 
den Zellen konnen zweidimensionale Bilder, dreidimensio- 
nale Bilder und sogar Text angezeigt werden. Ein Eselsohr- 



°^ — — «" 5 vmwii & ii in x uiin von oiapein von Quer- 
schnittsbildern eines zu untersuchenden Patienten vorliegen 
Aus diesem Grund besteht die Notwendigkeit, mehrere Bil- 
der aus verschiedenen Verfahren gleichzeitig darzustellen 
Es ist ublich, daB ein Patient mehrere Male mit einem ein- 



zigen Verfahren oder mit mehreren vJ^ZnaZ 25 Icon fn einer^l^ ^ 

wird. Im Falle einer Untersuchung mit mehreren Verfa^n ^^^^^^^^^P»Bc. 



• j t t* • — Twioiucu umersucni 

wird. Im Falle einer Untersuchung mit mehreren Verfahren 
werden im gleichen Objektbereich verschiedene GroBen ge- 
messen. AuBerdem kann die raumliche Auflosung der Bild- 
satze unterschiedlich sein. Urn verschiedene Beurteilungen 
vornehmen zu konnen, werden haufig mehrere Untersu- 30 
chungen mit emem einzigen Verfahren durchgefuhrt, wie es 
zum Beispiel bei der Kontrast-verstarkten magnetischen Re- 
sonanz- Angiographic der Fall sein kann, bei der vor und 
nach der Injektion eines Kontrastmittels in den Blutstrom 
Bilder aufgenommen werden. Weitere Beispiele sind die 35 
Beurteilung einer Behandlung, bei der vor und nach dem 
Eingnff pathologische Bilder aufgenommen werden oder 
Funktionsbilder, mit denen biologische Prozesse uber eine 
bestimmte Zeitdauer iiberwacht werden. 

Sowohl bei den einfachen als auch bei den mehrfachen 40 
Verfahren fuhrt eine Bewegung des Patienten sowie die Re- 
produzierbarkeit der Abtastung zu Problemen bei der Bild- 
erzeugung. In bestimmten Fallen kommt es vor, daB bei ei- 
nem Patienten die Bilder mit Abstanden von Taeen Wochen . m . . ,■ 

oder Monaten aufgenommen werden. SelbstSm^ I 45 «SS^SSi^i2^ 

dem der Patient fur eine Anzahl von schneUen Aufnahmen (2D) ^SS^SS^SS^^S^^ 



' — ± — f «^ ^ v-^olwi uuci cine pop-up- rse- 
nutzer-Schnittstelle (UI) konnen aktiviert werden, urn selek- 
Uv em Bild aus einer Mehrzahl von. der ersten Zelle zuee- 
ordneten Bildern anzuzeigen; 

Kurze Beschreibung derZeichnung 

Fig. 1 zeigt ein das Bild-Spreadsheet implementierendes 
Gesamtsystem; 

Fig. 2 zeigt das die Magnetresonanz-Angiographie imole- 
mentierende Bild-Spreadsheet; 

Fig 3 zeigt das eine 3D Segmentation implementierende 
Bild-Spreadsheet; und 

Kg 4 zeigt ein FluBdiagramm des Betriebsverfahrens des 
bild-Spreadsheets . 

Detaillierte Beschreibung der bevorzugten Ausfuhrungs- 
form 

GemaB Fig. 1 werden ein Bild-Spreadsheet-Generator 10 



55 



— — ~" ^"'^iiwj ^uiiianmen 

in einer Abtastvorrichtung verbleibt, kann sich die Stellung 
bzw. Position des Patienten aus verschiedenen Griinden wie 
zum Beispiel der Atfnung, einer Unbequemlichkeit, einer 
Brregung oder der Verdauung verandern. Auch die Abtast- 
vorrichtung selbst kann aufgrund einer mechanischen Unee- 
nauigkeit zu einer Verschiebung fuhren. 

Es besteht somit ein Bedarf, die Bilder aus verschiedenen 
Verfahren zur Anwendung bei der medizinischen Diagnose 
und Behandlung aneinander anzupassen. 

Zusammenfassung der Erfindung 

und dreidimensionale (3D) BnS und S~en^ SL VOn f ^ rammob Jfkten znr Darstellung von Bildsym- 

streckt, wobei Zellen in dem Bild-sVreSS mSLS oSch Itl beinhalten * e 

und mathematische Operationen zugeordnet sind die BM- S„ kdnnT " Wcht verstanden 

operanden implementieren. Das Bild-Spreadsheet ist auf ei- TVrlw«^u tD . 

nem Bildsystem implementiert, das einen Pressor zur 65 steSe 22 TnZ M eine Einrichtungs-Schnitt- 

Wiedergabe einer grafischen BenutzerschnittsteUe (GUI - aSSSuSHm^ ' T BemtZ ^ 

graphic user interface) auf einem Bildschirm aufweist. Ein SrtSSte (Ip^L S. *T t nWendUngSpr0 8 ramm - 

Bild-Spieadsheet-Generatorbewir^daBdieGUIeinSpre- tS!SS^SS3^S^ 



grafischen Anzeigesysteni verwendet, so daB eine vertraute 
Arbeitsumgebung zur Bearbeitung vieler Arten von Bildda- 
ten geschaffen wird und sich eine bedeutende und beispiel- 
50 hafte Veranderung gegenuber den in aUgemeinen Bildverar- 
beitungssystemen verwendeten "Pipeline"-Modellen eigibt 
Der Bild-Spreadsheet-Generator 10 ist mit einem Grafikge- 
nerator 12 eines Grafiksystems 14 mit einem Prozessor 16 
verbunden. Der Grafikgenerator 12 wirkt mit dem Prozessor 
16 zum Beispiel iiber eine Task-Karte 18 oder andete Funk- 
^ n ,? der U ntei Programme zusammen, urn 2D und/oder 
JD-Bilder auf einem Schiim oder einer anderen Ausgabe- 
einnchtung zu erzeugen. Der Prozessor 16 arbeitet mit ei- 
nem Bildsymbol-Generator 20 zusammen, der eine Samm- 
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anderen Systemen 30 zusammenzuwirken, wie dem Internet 
fur Fernverbinduhgen; einem Hardcopy-Server (HcS) 32 
zum Sen den von Ausgabedaten zu einem Bildgerat oder 
Drucker 34 fur Hardcopy- Ausgaben; einem Datenbank-Ser- 
ver (DbS) 36 zum Speichem von Daten zum Beispiel in ei- 
nem Online-Speicher 38, einem Verarbeitungs-Server (PrS) 
40 zum Speichem von Daten in dem Speicher 42 des Pro- 
zessors 16 oder anderen zentralen Prozessoreinheiten 
(CPUs); sowie einem Benutzer-Schnittstellen (UI)-Server 
44, der zum Beispiel unter Verwendung der Version 11 
(XI 1) des X WINDOWS Protokolls mit mindestens einer 
Eingabe- und/oder Ausgabe-(I/0)Einrichtung 46 wie einem 
Bildschirm, einer Tastatur und/oder einer Maus zusammen- 
wiirkt. 

Bei einer bevorzugten Ausfuhrungsform ist der Grafikge- 
nerator 12 durch die "Fly Through "-Software der Firma Sie- 
mens Medical Systems Inc., Iselin, New Jersey, realisiert, 
die auf einer Workstation als Grafiksystem 14, wie zum Bei- 
spiel der "Prominence" -Workstation von der Firma Siemens 
Medical Systems Inc., Iselin, New Jersey, vertrieben wird, 
die eine weiterentwickelte Workstation zur medizihischen 
Bilderzeugung und Nachbearbeitung ist, die von der Firma 
ISG Technologies, Kanada, hergestellt wird. Alternativ dazu 
kann das Grafiksystem 14 auch die "3D Virtuoso" Worksta- 
tion zur Nachbearbeitung von der Firma Siemens Medical 
Systems Inc. sein, die optional auf einer Windows NT Platt- 
form arbeiten kann und zum Beispiel das Laboratory Infor- 
mation System der Firma Medcom Information Systems 
Inc., anwendet. Die GUI zur Anwendung der "Fly 
Through"-Software kann auf einer Sienet Magic view 
CT/MR Satellitenkonsole der Firma Siemens Medical Sy- 
stems, Inc. implementiert werden, urn als I/O-Einrichtung 
46 zu arbeiten. Alternativ dazu kann als Grafiksystem 14 
auch das in der US-PS 5.782.762 von Vining und/oder der 
US-PS 5.825.909 von Jang beschriebene Grafiksystem ver- 
wendet werden, wobei diese Druckschriften durch Bezug- 
name zum Bestandteil dieser Offenbarung gemacht werden 
sollen. 

Bei einer medizinischen 2D/3D- Bilderzeugung kann der 
Bildsymbol-Generator 20 eine Sammlung von Programm- 
objekten sei, die metaphorisch medizinische Bildsymbole 
auf dem UI der I/O-Einrichtung 46 darstellen, die fur einen 
Benutzer einfach verstandlich sind. Die Einrichtungs- 
Schnittstelle 22 kann ein Satz von Objekten einer "Digital 
Imaging and Communications in Medicine" (DICOM)- 
Kommunikations-Schnitts telle sein, wahrend der Schnitt- 
stellen-Server 28 ein DICOM-basierender Server sein kann, 
der mit medizinischen Systemen 30 wie computergestutzten 
Tomographie-Abtasteinrichtungen (CAT) und Rontgen- 
strahlengeraten zusammenwirkt. Ferner kann der GUI-Ma- 
nager 24 der MOTEF-Manager fur X Windows und die API 
26 der Open Graphics Library (OpenGL)-Standard Grafik- 
API sein; 

Der Grafikgenerator 12 kann ein Segmentierungsmodul, 
ein Modellbildungsmodul und ein interaktives Anzeigemo- 
dul umfassen. Mit dem Segmentierungsmodul werden wah- 
rend der Simulation einer endoskopischen Ansicht verschie- 
dene interessierende Organe heraussegmentiert und ein seg- 
mentierter Volumen-Datensatz erzeugt. Das Modellbil- 
dungsmodul konvertiert den segmentierten Volumen-Daten- 
satz in einen Satz von segmentierten polyhedralen Model- 
len, die eine Echtzeit-Wiedergabe mit dem interaktiven An- 
zeigemodul ermoglichen. Durch die GUI der I/O-Einrich- 
tung 46 kann dem Benutzer ein Schirm mit Ansichtsfenstern 
gebpten werden, wie zum Beispiel ein Haupt-Ansichtsfen- 
ster 48 gemaB den Fig. 2 und 3, das fur bestimmte Anzeige- 
zwecke, die unten noch erlautert werden, in einzelne Spre- 
ads heet-Zellen 50 unterteilt werden kann. Ein Benutzer-Ein- 
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gabefenster, wie zum Beispiel das Fenster 52, kann durch ei- 
nen entsprechenden Befehl des Benutzers oder des Grafik- 
generators 12, der auf eine Bedingung wie zum Beispiel 
eine "query user for input"-Bedingung oder eine Fehlerbe- 
5 dingung geoffhet oder geschlossen werden. Das Fenster 52 
kann ein pop-up-Fenster sein, das zur Eingabe von mathe- 
matischen und anderen Operationen fur eine einzelne oder 
eine Gruppe von Zellen 50 verwendet wird. 

Weiterhin ist auf dem Schirm auch ein Bereich 54 vorhan- 

10 den, der ein Steuerpanel aus wahlbaren Tasks und scrollba- 
ren Taskleisten zur Verfugung stellt. Zum Beispiel konnen 
Befehle oder Icons fur 2D, MPR, 3D, Winkel, Bereich, Ul, 
U2 und Fly, die mit verfugbaren Task-Karten korrespondie- 
ren, zur Verfugung gestellt werden. Andere Befehle wie 

15 Task-Karten oder Tabs konnen auch angezeigt werden, die 
eine Auswahl von Befehlen wie Film, Save, Zpan und W/I 
. ermoglichen. Weiterhin konnen auch Icons, die mit copy 
screen, copy series, new page, clear image oder options be- 
schriftet sind, oder andere Icons wie scrollbare Pfeil-Befehle 

20 vorgesehen sein. 

Um das Bild-Spreadsheet in das Haupt-Ansichtsfenster 
48 zu implementieren, kann der Bereich 54 des Schirms 
auch Befehle zum Editieren von Zellen oder Icons wie cell 
editor, add row, add column, evaluation all, load und save 

25 enthalten. DemgemaB kann ein Benutzer Zellen durch An- 
klicken der Zelle, d. h. durch Bewegen eines GUI-Kursors 
auf die Zelle mit einer beweglichen Maus und durch Betati- 
gung des Mausknopfes auswahlen. Mit solchen Befehlen 
zum Editieren von Zellen kann der Benutzer eine Zelle edi- 

30 tieren, Reihen und Spalten den Zellen 50 hinzufugen, alle 
Zellen auswerten, um das gesamte Spreadsheet der Zellen 
zu aktualisieren, um modifizierte Bilder oder Gleichungen 
zu erzeugen, einzelne Zellen mit Bildem zu laden und das 
gesamte Spreadsheet mit den gegenwartigen Bildern, Glei- 

35 chungen und/oder Konfigurationen der Zellen zu speichem. 
Wie in Fig. 1 gezeigt ist, kann die I/O-Einrichtung 46 zum 
Empfang yon Benutzer-Eingaben optional mit dem Biid- 
Spreadsheet-Generator 10 verbunden sein, mit dem die Aus- 
wahl und Ausrichtung der Ansichten gesteiiert wird, wenn 

40 der Benutzer auf den Schirm mit den Fenstern 48, 54 schaut, 
um durch die in den Zellen 50 dargestellten Bilder zu navi- 
gieren. 

Das Bild-Spreadsheet-Sy stern 10 kann Hardware und/ 
oder Software sein und kann als Unterprogramm in dem 

45 Grafikgenerator 12 oder auBerhalb des Grafiksystems 14 
realisiert sein. Das Biid-Spreadsheet-System 10 kann zum 
Beispiel eine getrennte Workstation, die mit dem Grafikge- 
nerator 12 verbunden ist, oder ein PC sein, der uber ein 
Netzwerk, wie zum Beispiel das Internet, mit dem Grafikge- 

50 nerator 12 verbunden ist. 

Wie in Fig. 2 gezeigt ist, konnen die Zellen 50 des Bild- 
Spreadsheets in einer typischen Spreadsheet- Art bezeichnet 
sein, bei der die Zellen 50, die Reihen bilden, numerisch be- 
nannt und die Spalten alphabetisch bezeichnet sind, so daB 

55 sich die Zellen Al bis A3, Bl bis B3, CI bis C3 usw. erge- 
beri. Jeder Zelle 50 ist eine Formel oder eine Gleichung zu- 
geordnet, 'die auf anderen Anzeigeschirmen sichtbar sein 
kann, auf die durch Benutzerbefehle umgeschaltet wird, 
oder die in dem Bereich 54 des Anzeigeschirms in vorbe- 

60 stimmten Anzeigebereichen fur Gleichungen wiedergege- 
ben werden. Bei alternativen Ausfuhrungsformen kann das 
Bild-Spreadsheet 2D-Biider gemaB der Darstellung in Fig. 
2, 3D-Bilder gemaB der Darstellung in Fig. 3, Text gemaB 
Fig. 2 oder eine Kombination aus Text, 2D-Bildern und 3D- 

65 Bildern gemaB den Fig. 2 und 3 beinhalten. 

GemaB Fig. 2 kann jede Zelle 50 Regis trierungsmarker 
56 enthalten, die sichtbar oder unsichtbar sein konnen, das 
heiBt daB jede Zelle 50 zugeordnete Daten in Speichem auf- 
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weist, die den Ort solcher Registrierungsmarker 56 spezifl- 
zieren, und der Bild-Spreadsheet-Generator 10 kann auf Be- 
nutzerbefehle zum TJmschalten zwischen der Wiedergabe 
und der Nicht- Wiedergabe der Registrierungsmarker 56 in 
ausgewahlten oder alien Zellen 50 ansprechen. Die Regi- 5 
strierungsmarker 56 werden verwendet, um die Bilder zu 
positionieren und auszurichten, wobei die Registrierungs- 
marker 56 in einer Standardeinstellung fur den Benutzer un- 
sichtbar sind, solange dieser wahrend des Ladens eines Bil- 
des und einer Sitzung zur Betrachtung nicht auf die Anzeige 10 
der Registrierungsmarker 56 umschaltet. Zum Beispiel kon- 
nen die Zellen Al , B 1 , CI fortlaufende Rahmen in einer Sit- 
zung einer Magnetresonanz- Angiographic (MRA) wieder- 
geben, in der ein Satz 58 von BlutgefaBen in umgebendem 
Gewebe in der Zelle Al angezeigt wird. Die Zellen Bl und 15 
CI zeigen das Eindringen eines Kontrastmittels in die Blut- 
gefaBe, wobei die Bilder 60 bis 62 die BlutgefaBe 58 mit 
dem darin flieBenden Kontrastmittel darstellen. Die Regi- 
strierungsmarker 56 ermbglichen die Erzeugung von ver- 
schiedenen Bildern eines gemeinsamen Objektes, das heiBt 20 
der BlutgefaBe, die mit einer sehr genauen Ausrichtung zu 
orientieren sind. Die Registrierungsmarker stellen eine Vi- 
sualisierung einer darunterliegenden raumlichen Abbildung 
zwischen mindestens zwei Bildern oder Volumina dar, die in 
mindestens einer Zelle des Bild-Spreadsheets durch den 25 
Bild-Spreadsheet-Generator 10 erzeugt werden. Bei einer 
solchen Abbildung wird jeder gegebene Punkt in einem Bild 
auf einen korrespondierenden Punkt in dem anderen Bild 
oder Volumen abgebildet. Bei dem Bild-Spreadsheet wer- 
den dieses Abbildungen berechnet, um gemaB der folgenden 30 
Beschreibung die anatomische Koharenz zu erhalten. Aus 
diesem Grand ist klar, daB die in den Fig, 2 und 3 gezeigten 
Registrierungsmarker 56 nur beispielhaft zu verstehen sind 
und nicht unbedingt in den Zellen vorhanden sein miissen. 
Die Registrierungsmarker 56 konnen in dem Bild-Spreads- 35 
heet auch weder sichtbar noch unsichtbar sein, sondern mit 
Bits, Zeigern, Speicherplatzen oder anderen Daten korre- 
spondieren, die eine Registrierung zwischen Bildern mit ei- 
nem durch den Bild-Spreadsheet-Generator 10 implemen- 
tierten Registrierungsverfahren ermoglichen. 40 

Die Zellen Al, Bl, CI konnen Bilder enthalten, die mit 
Dateien Fl, F2, F3 in dem Speicher korrespondieren, die zu- 
vor von einer Bilddatenquelle der MRA-Sitzung empfangen 
wurden, wie zum Beispiel einem Speicher des Grafiksy- 
stems 14. DemgemaB kann durch die Gleichung Al = lo- 45 
ad(Fl), mit der die Zelle Al in die Anzeige des Bildes 58 
geladen wird, eine load-Operation in das Bild-Spreadsheet 
implementiert werden. Die Gleichung wird anschlieBend 
der Zelle Al zugeordnet. Alternativ dazu konnen die Zellen 
Al, Bl, CI Bilder aufweisen, die mit den Zeiten Tl, T2, T3 50 
der MRA-Sitzung korrespondieren. DemgemaB kann eine 
load-Operation in das Bild-Spreadsheet implementiert wer- 
den, durch die die Zelle Al mit der Gleichung Al = lo- 
ad(Tl) geladen wird. Alternativ dazu konnen die Zellen Al, 
Bl, CI Bilder enthalten, die mit verschiedenen Rahmen 55 
FR1 , FR2, FR3 aus dem Magnetresonanz-Bildsystem korre- 
spondieren, so daB der Zelle Al die Gleichung Al = lo- 
ad(FRl) zugeordnet ist. 

Fur eine solche MRA-Sitzung konnen die Bilder in den 
Zellen Al, Bl, CI, die von den Rahmen erhalten werden, 60 
entsprechenden Zeiten zugeordnet werden. Das Bild-Spre- 
adsheet kann auch Bildfunktionen wie frameO unterstutzen, 
die aus einem Speicher zu einer Zeit t in einer Zeitsequenz 
von Rahmen einen Rahmen zuruckfuhren, und mit den Glei- 
chungen fur die ZeHen 50 konnen Funktionsaufrufe ermog- 65 
licht werden, die in Zellen-Operationen zu verwenden sind. 
BemgemaB wiirde mit der Gleichung Al = load(frame(Tl)) 
das Bild in dem Rahmen zu der Zeit Tl wiedergewonnen 



und in die Zelle Al geladen werden. 

Beim Laden der Zellen kann der Bild-Spreadsheet-Gene- 
rator 10 automatisch die Registrierungsmarker fur jedes 
Bild bestimmen und das Bild dann so formatieren, daB die 
Registrierungsmarker an den Registrierungsmarkem 56 ge- 
maB Fig. 2 positioniert und angezeigt werden. 

Es konnen auch andere Zellen-Operationen unterstiitzt 
werden, wie zum Beispiel mathematische Standard-Opera- 
tionen wie Addition, Subtraktion, Multipbkation und Divi- 
sion, die auf dem Gebiet der Bilderzeugung aUgemein defi- 
niert und bekannt sind. Bei dem MRA-Beispiel in Fig. 2 zei- 
gen die Zellen Al, Bl und CI das zeitliche Eindringen und 
Verhalten eines Kontrastmittels 66 in die/den BlutgefaBen 
wobei die Zelle Al das Bild 58 der BlutgefaBe ohne Kon- 
trastmittel 66, die Zelle Bl das Bild mit etwas Kontrastmit- 
tel in den BlutgefaBen und die Zelle CI die BlutgefaBe nach 
Ablauf einer spezifizierten Zeit nach dem Eindringen des 
Kontrastmittels 66 zeigt. 

Nach der Injektion des Kontrastmittels 66 erscheinen die 
GefaBe hell. Die umgebende Anatomie bleibt im wesentli- 
chen unverandert und kann durch Subtraktion des Bildsatzes 
ohne Kontrastmittel von dem Bildsatz mit Kontrastmittel 
entfemt werden. Der Benutzer kann dann die Zelle A2 unter 
Verwendung des Bild-Spreadsheet-Generators 10 anweisen, 
eine zugeordnete Gleichung A2 = CI - Al auszufuhren, die 
bewirkt, daB der Bild-Spreadsheet-Generator 10 das Bild 58 
von dem Bild 62 subtrahiert, so daB die Basis-BlutgefaBe 
entfernt werden und nur das Kontrastmittel 66 sowie sein 
Weg durch die BlutgefaBe dargestellt wird. Durch Subtrak- 
tion und die dadurch bewirkte Ausfilterung der BlutgefaBe 
aus dem Bild 62, mit der das Hintergrund-Gewebe aus dem 
Bild 62 entfemt wird, zeigen die Wege des Kontrastmittels 
in dem Bild 64 zum Beispiel Gesichtspunkte des Blutflus- 
ses, wie einen Terminus 68 des Blutflusses, der einen Ver- 
schluB oder einen Blutklumpen in den BlutgefaBen indizie- 
ren kann. In ahnlicher Weise kann der Blut- und Stromungs- 
fluB um Tumore und andere Karzinome durch diese Sub- 
traktion angezeigt werden. 

Es kann auch Text in die Zellen wie zum Beispiel die 
Zelle A3 eingegeben werden, wobei dieser Text mit Glei- 
chungen zu anderen Zahlen addiert oder von diesen subtra- 
hiert werden kann. Die Zelle B2 kann sich zum Beispiel 
durch die Gleichung B2 = Al + A3 aus den Zellen Al und 
A3 zusammensetzen, so daB der Text als Legende oder Be- 
schriftung in das Bild 58 eingefugt werden kann, das dann 
zum Beispiel in Form von Prasentationsmaterial, wie Doku- 
menten oder Folien, ausgedruckt oder ausgegeben werden 
kann. Zusatzlich dazu kann jeder Zelle 50 einer Mehrzahl 
von anderen Zellen zugeordnet sein und/oder eine Mehrzahl 
von Bildem indexieren, so daB der Bild-Spreadsheet-Gene- 
rator 10 ein Eselsohr-Icon 70 oder andere grafische Icons in 
jeder Zelle oder alternativ dazu nur in solchen Zellen; die 
eine solche Mehrzahl von Bildern beinhalten, erzeugen 
kann. Alternativ dazu kann auch ein pop-up-Fenster oder 
eine pop-up-Benutzer-Schnittstelle (Ul) wie ein Eingabe- 
fenster 52 erzeugt und angezeigt werden, um dem Benutzer 
eine selektive Ansicht verschiedener, jedoch einander zuge- ■ 
ordneter Bilder zu ermoglichen. Unter Verwendung des 
Eselsohr-Icons 70, des pop-up-Fensters oder der pop-up-Be- 
nutzer-Schnittstelle (Ul) kann sich der Benutzer durch die 
Anzahl von. Bildem "blattern", das heiBt diese laden oder 
durchscrollen, wobei das Minuszeichen ein zuruckblattem 
zu einem vorherigen Bild und das Pluszeichen ein Vorwarts- 
blattem zu einem nachsten Bild bedeutet. 

Bei alternativen Ausfuhrungsformen konnen Pfeile oder 
andere, Browser-ahnlich zu betatigende Icons in Verbin- 
dung mit oder ansteUe der genannten Eselsohr-Icons 70 oder 
pop-up-Fenster oder UIs vorgesehen sein, wobei das auf 
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dem Schirm 48 in Fig. 2 gezeigte Bild-Spreadsheet auch un- 
ter Verwendung eines Internet-Browsers wie z. B. des Mi- 
crosoft Internet Browers, implementiert werden kann, wobei 
die Zellen 50 zum Beispiel in Browserrahmen und/oder 
Webseiten implementiert sind. Bei anderen Ausfuhrungsfor- 
men konnen auch Java- Applets und/oder ActiveX Steuer- 
einheiten unter Verwendung der Microsoft ActiveX Techno- 
logic verwendet werden, um das Bild-Spreadsheet und/oder 
den Bild-Spreadsheet-Generator 10 oder Teile davon zu im- 
plementieren. Solche Java- Applets oder ActiveX Steuerein- 
heiten konnen dann einem Web-Browser oder anderen Inter- 
net-basierenden oder World- Wide- Web-basierenden oder 
Netzwerk-basierenden Anwendungen untergeordnet wer- 
den, so daB ein Benutzer auch von einer entfernten Station 
mit jedem Browser oder jeder Netzwerk-Plattform, die mit 
Java oder ActiveX koriipatibel ist, auf das Bild-Spreadsheet 
Zugriff nehmen kann. 

Auch unare Operationen sind fiir die Zellengleichungen 
verfiigbar, wie zum Beispiel inverse Funktionen, die ein 
Bild durch seine Negativdarstellung ersetzen, ebenso wie 
exponentielle Funktion wie die expO-Funktion als eine Po- 
tenz der Basis e des natiirlichen Logarithmus, so wie Wurzel- 
funktionen wie die Quadratwurzelfunktion sqrt(). Weiterhin 
konnen auch Filteroperationen unterstutzt werden, wie zum 
Beispiel Farbfilter, Grauskalafilter und Filter zur Erhohung 
der Intensitat, wobei solche Filter Falschfarben-Verstarkun- 
gen erzeugen konnen, um bestimmte Merkmale wie TAimore 
oder Kontrastmittel zu unterscheiden. 

Die Bilder in den Zellen konnen weiteren Operationen 
unterworfen werden, wie zum Beispiel einer Schweiiwert- 
bildung unter Verwendung von Schwellwert-Funktionen, 
wobei auch Bild-Segmentationsverfahren verwendet wer- 
den konnen. Als Beispiel zeigt Fig. 3, wie fiir die Zellen Al 
bis CI ein 3D-Bild 72 eines Kopfes in der Zelle 74 in einer 
Magnetresonanz-Abbildungssequenz (MRI) transformiert 
wird, um ein Bild 76 der darunterliegenden BlutgefaBe in 
der Zelle 78 zu erzeugen und somit ein Bild 80 des Gehirns 
in der Zelle 82 zu zeigen. Es. kann zum Beispiel eine seg- 
ment- Funktion aufgerufen werden wie Bl = segment(Al) 
und CI = segment(Bl). Zusatzlich konnen die Bilder 72 bis 
76 addiert werden, so daB sie sich in drei Richtungen uber- 
lappen und ein in einer anderen Zelle wie B2 wiedergegebe- 
nes, kombiniertes Bild entsteht. 

Weitere Operationen konnen implementiert werden, mit 
denen eine aufwendige Bildverarbeitung, wie zum Beispiel 
eine Projektion der maximalen Intensitat (MIP oder MaxIP) 
oder eine Projektion der rninimalen Intensitat (MinIP), er- 
leichtert wird und die als Zellenfunktionen implementiert 
werden konnen. Zum Beispiel kann gemaB Fig. 3 ein Ma- 
gnetresonanzbild (MR) 84 eines vaskularen Gewebes in ei- 
ner Datei mit dem Namen mr_vascular gespeichert werden. 
Unter Anwendung eines GefaB-Segmentationsverfahrens, 
das durch die Funktion segment_vessel() und eine MTP- 
Funktion call MEP() aufgerufen wird, kann das Bild 88 in 
der Zelle 90 mit der Bezeichnung A3 durch folgende Glei- 
chungen erzeugt werden: 

A2 = load_image( , mr_vascular , ) und A3 = MIP(seg- 
ment_vessel(A 1 )), 

die jeweiis in der Zelle A2 bzw. A3 implementiert sind. Bei 
diesem Beispiel wird ein dem 3D-Bild 84 entsprechender 
Rohdatensatz in die Zelle A2 geladen, und die Zelle A3 wird 
so eingestellt, daB sie eine Zusammensetzung aus einer Pro- 
jektion der maximalen Identitat des Datensatzes und des Er- 
gebnisses des GefaB-Segmentationsverfahrens darstellt. 

Weitere Funktionen und Bildoperationen konnen imple- 
mentiert werden, wie zum Beispiel Bildverarbeitungsfunk- 
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tionen wie Kantenerfassung, HefpaB, HochpaB, BandpaB- 
Filterung und Rauschunterdriickung; ebenso wie Schwell- 
wertbiidung; Graupegel-Fensterverarbeitung; Bildverstar- 
kung wie zum Beispiel Kantendetektion, HefpaB-/Hoch- 
5 paB-Fiiterung,. Weichzeichnung und Farbmodifikation; Seg- 
mentation wie statische und Bewegungs-basierende Opera- 
tionen; Morphogenie, Stereo-Korrespondenz; Visualisier 
rung von Volumina und Flachen; Vergleichsoperationen; 
Reduzieren/Maskieren; Objekterkennung zum Beispiel un- 

10 ter Verwendung von neuralen Netzwerken und Datenklassi- 
fizierern; Bildarchiv-Manipulation; Videobearbeitung und 
andere Bildoperationen wie interaktive, Maus-gesteuerte 
Rotation, Skalierung und Translation von Bildern. Dariiber- 
hinaus sind die Videodaten mehrdimensional mit minde- 

15 stens einer Zeitachse und mindestens einer raumlichen 
Achse, wodurch Animationen von zum Beispiel eindimen- 
sionalen Kurven von Testergebnisseri, zweidimensionalen 
Rontgenstrahlbildern und dreidimensionalen MRI-Bildern 
implementiert werden konnen. Das beschriebene Bild-Spre- 

20 adsheet schafft somit eine Plattform zum Organisieren, Ver- 
arbeiten und Editieren von Videosequenzen fiir zum Bei- 
spiel medizinische und nichtmedizinische Anwendungen. 

Weiterhin konnen Funktionen und Operationen so einge- 
bettet werden, daB diese andere Funktionen oder Operatio- 

25 nen aufrufen, wie es oben bei der Erzeugung der Zelle A3 in 
Fig. 3 beschrieben wurde. Dariiberhinaus bezeichnet der 
Begriff "=" gemaB der hier verwendeten Definition eine Zu- 
weisung und/oder eine erneute Zuweisung von Zellen und 
Variablen, die die Zellen darstellen. Es konnen auch andere 

30 Gleichungs-, Programmierungs- und/oder operationelle 
Konventionen verwendet werden. Zum* Beispiel kann die 
Operation der Zuweisung alternativ auch durch das Symbol 
":=" bewirkt werden, wahrend die Boolschen Operationen 
aufgrund des Symbols "=" phne Doppelpunkt ausgefuhrt 

35 werden. Zum Beispiel kann gemaB Fig. 2 das Bild 64 in der 
Zelle A2 durch die folgende Boolsche Gleichung erzeugt 
werden: 

if count = 0 then A2: = (Cl-Al) else A2: = Bl-Al. 

40 

Diese Gleichung kann in einem Programm verwendet 
werden, mit dem das Bild-Spreadsheet unter Verwendung 
eines Steuerparameters count aufgerufen wird. Solche logi- 
schen Programmiermethoden, die in bekannte numerische 

45 Spreadsheets implementiert sind, konnen somit in das be- 
schriebene Bild-Spreadsheet implementiert werden. Zusatz- 
lich dazu kann das Bild-Spreadsheet auch durch eine objekt- 
orientierte Programmierung implementiert werden, so daB 
solche Bild-Spreadsheets in andere Anwendungen impor- 

50 tiert werden konnen, wie zum Beispiel Textprogramme wie 
Microsoft Word und Datenbanken wie Microsoft Access, 
die mit der OLE-, DCOM- und/oder ActiveX- Technologien 
arbeiten. 

55 Registrierung (Justierung) 

Wenn sich der Patient zwischen zwei Aufnahmen von 
Bildern bewegt hat, fiihrt eine Subtraktion der Bilder gemaB 
der Beschreibung fur die Zellen Al, CI und A2 in Fig. 2 zu 

60 anatomisch falschen Ergebnissen, da nichtkorrespondie- 
rende Bereiche subtrahiert werden. Bei dem Bild-Spreads- 
heet-Generator 10 wird dieses Problem durch Verwendung 
eines Registrierungsverfahrens gelost, um die Bilder zum 
Beispiel durch Translation oder Morphogenie zu modifizie- 

65 ren, so daB sie vor der Anwendung einer mathematischen 
Operation zwischen den Bildern anatomisch korrekt mitein- 
ander korrespondieren. Mit dem Registrierung sverfahren 
kann auch die Bewegung, die das Subjekt ausgefuhrt hat, 
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abgeschatzt und eine Korrektur solcher Bewegungen durch- 
gefuhrt werden, wenn Operationen zwischen den Bildern 
ausgefuhrt werden. 

Mit der Registrierung wird eine anatomische Koharenz 
der mehrfachen Datensatze sichergestelit. Eine anatomische 
Koharenz setzt voraus, daB wenn ein Punkt P A in einem Vo- 
lumen A mit dem gleichen Bereich eines Patienten korre- 
spondiert, wie ein Punkt P B in einem Volumen B, die regi- 
strierte Abbildung zwischen A und B, die durch den Bild- 
Spreadsheet-Generator 10 aufrechterhalten wird, eine sol- 
che anatomische Koharenz zwischen den Datensatzen bein- 
haltet 

Bestimmte MR-Aufhahmen, wie zum Beispiel bei neuro- 
logischen Untersuchungen, sind gut registriert (justiert), da 
der Kopf wahrend der Dauer der Aufnahme flxiert werden 
kann. Eine Bewegung des Patienten kann jedoch nicht bei 
der Aufnahme anderer Korperteile verhindert werden. Dies 
betrifft zum Beispiel Umfangsuntersuchungen, bei denen 
eine Bewegung des Patiententisches mit dem Patienten zwi- 
schen verschiedenen Aufhahmen erforderlich ist. Ein Ver- 
fahren, das angewendet werden kann, ist die automatische 
Registrierung von festen Korpern, bei dem durch den Bild- 
Spreadsheet-Generator 10 und/oder das Grafiksystem 14 
eine Transformation eines festen Korpers vorgenommen 
wird, um bei mehrfachen Untersuchungen eine Registrie- 
rung zu erzielen. Zum Beispiel kann eine "fusion" -Taskkarte 
in den Taskkarten 18 enthalten sein, d. h. die durch den Gra- 
fikgenerator 12 mit dem Grafiksystem 14 verwendeten und 
verfugbaren Funktionen konnen zu diesem Zweck verwen- 
det werden. Unter Verwendung einer interaktiven Selektion 
von korrespondierenden Punkten zwischen zwei volumetri- 
schen Untersuchungen kann eine vollstandige automatische 
Registrierung durchgefuhrt werden, mit der zwei Untersu- 
chungen auf der Basis von Pixel/Voxel- Werten angepafit 
werden, um so eine geeignete Ausrichtung unter Verwen- 
dung der Registrierungsmarker 56 zu erreichen, die in dem 
wiedergegebenen Bild-Spreadsheet und dessen Zellen in 
den Grundeinstellungen unsichtbar sind. Eine solche auto- 
matische Registrierung ist bei MRA-Anwendungen sinn- 
voll, da die Art und die Pixel/Voxel-Statistiken von mehrfa- 
chen Untersuchungen einer gemeinsamen physikalischen 
Struktur sehr ahnlich sind, wie es in den Zellen Al bis CI 
der Fig. 2 gezeigt ist. Auf diese Weise konnen durch einen 
Benutzer und/oder durch ein automatisches Anpassungsver- 
fahren zur Registrierung, zum Beispiel durch ein neurales 
Netzwerk oder Klassifizierer, die Biider zur Vorbereitung 
der weiteren Bild-Manipulationen gemafi obiger Beschrei- 
bung ausgerichtet werden. 

Eine andere verwandte Technik ist die interaktive, auf ei- 
ner Volumenableitung basierende Registrierung, bei der die 
Verfugbarkeit einer interaktiven und Echtzeit : Volumenab- 
leitung eine Registrierung des festen Korpers auf der Basis 
einer Visualisierung ermdglicht. Unter Verwendung eines 
solchen Registrierungsverfahrens konnen zwei Untersu- 
chungen gleichzeitig volumenabgeleitet sein, wie zum Bei- 
spiel die Volumenbilder 72, 76, 80 in Fig. 3. Der Benutzer 
und/oder die automatische Technik zur Registrierungsan- 
passung einschliefilich neuraler Netzwerke oder Klassifizie- 
rer konnen interaktiv versuchen, die Uberlappung zwischen 
Bildem zu maximieren. Zum Implementieren einer solchen 
interaktiven Registrierung kann eine Echtzeit- Volumenab- 
leitung verwendet werden. Bei einer alteraativen Ausfiih- 
rungsform konnen Transformationen verwendet werden, die 
einen volumetrischen Korper zur Anpassung an einen ande- 
ren deformieren, um eine automatische Vewerfungsregi- 
strierung durchzufuhren, mit der Bewegungen von nichtfe- 
sten Korpem kompensiert werden konnen. 

Es konnen auch andere bekannte Bild-Registrierungsver- 
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fahren verwendet werden, die z. B. auf dem medizinischen 
Gebiet bekannt sind, wie zum Beispiel ein Verfahren zur 
Maximierung der beiderseitigen Informationen (MMI), so- 
wie ein Verfahren zur Iteration des nachsten Punktes (ICP), 
5 um auf diese Weise eine Anpassung und Manipulation der 
Biider in dem Bild-Spreadsheet vorzunehmen. 

Betriebsverfahren 
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Das Bild-Spreadsheet-System 10 arbeitet in Verbindung 
rnit dem Grafikgenerator 12 unter Anwendung des in Fig. 4 
gezeigten Verfahrens. Der Grafikgenerator 12 erhalt in ei- 
nem Schritt 92 Bilddaten und erzeugt in einem Schritt 94 ge- 
mafi der Darstellungen in den Fig. 2 und 3 ein Gitter oder 
15 Spreadsheet, um zum Beispiel die Zellen Al bis A3, Bl bis 
B3, CI bis C3 usw. zu erzeugen. Es ist klar, dafi auch mehr 
Zellen erzeugt werden konnen, wobei nur ein Teil der Zellen 
dargestellt ist und die ubrigen Zellen durch Scrollen durch 
die Zellen wie bei bekannten Spreadsheet-Systemen ange- 
20 zeigt werden konnen. Nach dem Empfang der Bilddaten in 
Schritt 92, die eine Reihe von Bildern mit Bild-Begren- 
zungszeichen wie Vorlaufen (Header) sein konnen, um an- 
zuzeigen, welche Daten mit welchem Bild korrespondieren, 
unterteilt der Bild-Spreadsheet-Generator 10 den Bild-An- 
25 zeigebereich 48 in mindestens eine gleiche oder naherungs- 
weise gleiche Anzahl von Schirmbereichen oder Segmen- 
ten, wie Zellen vorhanden sind. Zum Beispiel wird eine 
Reihe von zwei bis vier Bildem mit einem Format von min- 
destens zwei mal zwei Zellen angezeigt; eine Reihe von funf 
30 oder sechs Bildern mit einem Format von mindestens zwei 
mal drei Zellen; eine Reihe von sieben bis neun Bildern mit 
einem Format von mindestens drei mal drei Zellen usw. 
Eine erneute Formatierung dieser Formate durch Hinzufu- 
gen von Reihen oder Spalten kann durch den Benutzer vor- 
35 genommen werden, wobei leere Reihen und Spalten auto- 
matisch erzeugt werden konnen, um zusatzliche Zellen fur 
die Anordnung und Wiedergabe von Ergebnissen von Zel- 
lenoperationen zu schaffen. 

Mit dem Verfahren werden dann in Schritt 96 die Biider 
40 in die Zellen geladen, so daB die Registrierung jedes Bildes 
an die Registrierungsmarker 56 angepafit 1st. Nach dem La- 
den der Biider in die Zellen wird das Verfahren in Schritt 98 
mit Benutzerbefehlen beaufschlagt, um die Biider zu bear- 
beiten, wobei in Schritt 100 eine Gleichung eingegeben und 
45 in Schritt 102 eine Steuerung der Anzeige durchgefuhrt wer- 
den kann, die auch eine Fensteraufteilung, ein Zoomen und 
Panning-Funktionen umfassen kann, ebenso wie die Option, 
Operationen fur einen Satz von Zellen gleichzeitig zu ver- 
binden, und in Schritt 104 eine Bild-Spreadsheet-Steuerung 
50 moglich ist, die auch Druck- und Speicherbefehle umfafit. 
Zum Eingeben einer Gleichung in Schritt 100 wahlt der 
Benutzer die Zellen zum Beispiel durch Bewegen eines her- 
yorgehobenen Fensters, rnit dem die Rander der gegenwar- 
tig gewahlten Zelle hervorgehoben werden, oder auf andere 
55 Weise durch Anklicken der gewunschten Zelle aus. Der Be- 
nutzer wahlt dann einen "define operation"-Befehl, der ein 
Icon auf dem Schirm 48 oder eine bestimmte Tastenkombi- 
nation, ein Mausknopf oder ein pull-down-Fensterbefehl 
sein kann. Daraufhin erscheint das Eintragsfenster 52, in das 
60 der Benutzer die gewunschte Operation oder den betreffen- 
den Ausdruck eingibt. 

Nach der Definition aller Operationen fur eine oder meh- 
rere Zelle kann der Benutzer das Bild-Spreadsheet ausfuh- 
ren, um die eingegebenen Operationen mit einem geeigne- 
65 ten Befehl wie zum Beispiel einer vorbestimmten Tasten- 
kombination oder durch ein puil-down-Memi zu implemen- 
tieren. Der Status der Ausfuhrung der Operationen kann 
iiber die GUI 46 zum Beispiel durch Veranderung von Far- 
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ben auf dem Schirm oder durch Ausgabe des Wortes "ausge- 
fuhrt" angezeigt werden. 

Wahrend odef nach dem Eingeben der. Gleichung in 
Schritt 100 oder der Anzeigesteuerung in Schritt 102 kann 
die Gesamtbild-Spreadsheet-Steuerung in Schritt 104 akti- 5 
viert werden, die .zum Beispiel einen Speicherknopf zum. 
Speichern des Bild-Spreadsheets und/oder aller ausgewahl- 
ter Zellen mit den gegenwartigen Einstellungen, Bildem 
und/oder Gleichungen umfaBt. Mit dem Schritt 104 kann 
auch ein neues Bild-Spreadsheet fur den gleichen Patienten 10 
und/oder eine Untersuchung erzeugt werden, oder es wird 
ein neues Bild-Spreadsheet fur andere Patienten und/oder 
Untersuchungen erzeugt, was dazu fuhrt, daB das Verfahren 
zu dem Schritt 92 zuruckspringt, urn. die Bilddaten aufzu- 
nehmen. Der Benutzer kann mit dem Schritt 106 veranlaBt 15 
werden, vor der Aufnahme neuer Bilddaten die gegenwarti- 
gen Bilddaten beizubehalten oder zu loschen. Wenn die ge- 
genwartig geladenen Daten zu bearbeiten sind, so wird das 
Verfahren mit den Schritten 102 bis 106 wiederholt. 

Bei altemativen Ausfuhrungsformen kann der Schritt 104 20 
einen Befehl enthalten, mit dem die Ergebnisse der Bearbei- 
tung der gegenwartigen Bilder in dem Bild-Spreadsheet auf 
andere Taskkarten wie einer virtuellen Endoskop-Anwen- 
dung, iibertragen werden. Der Benutzer kann durch Anklik- 
ken oder auf andere Weise einen gewunschten Satz von Zel- 25 
len auswahlen, woraufhin die gewiinschte Taskkarte akti- 
viert wird, um die ausgewahlten Zellen zu verarbeiten. 

Dariiberhinaus kann der Schritt 104 Befehle urhfassen, 
mit denen die eingegebenen Gleichungen als Bild-Spreads- 
heet-Schablone oder Script, das nicht unbedingt Patienten- 30 
spezifisch ist, auf zukiinftig importierte Bilddaten angewen- 
det wird. Solche Bild-Spreadsheet-Scripte konnen dann ge- 
laden und auf neue Bilddaten oder Untersuchungen ange- 
wendet werden. Zum Beispiel kann gemaB Fig. 2 der ProzeB 
des Entfemens von Hintergrund-Gewebe aus den eingege- 35 
benen MRA-Daten durch die Bild-Subtraktionsgleichung in 
der Zelle A2 so implementiert werden, daB diese auf alle 
kompatiblen eingegebenen Bilddaten angewendet wird und 
nicht nur auf die Bilddaten fur die Bilder 58 bis 66. 

40 

Alternative Ausfuhrungsformen 

Bei einer altemativen Ausfuhrungsform kann das Gitter 
der Zellen, wie es in den Fig. 2 und 3 gezeigt ist, unter- 
schiedliche GroBen aufweisen. Die Zellen konnen die ur- 45 
spriinglichen Abtastdaten, eine einzige mathematische For- 
mel oder Programme mit einer Mehrzahl von Befehlen ent- 
halten. Jede Zelle des Bild-Spreadsheets kann als Operand 
fur solche Berechnungen verwendet werden. Probleme im 
Zusammenhang mit einer Fehlanpassung der Auflosung 50 
werden durch automatische Interpolation gelost. Zusatzlich 
bietet jede einzelne Zelle eine Vielzahl verschiedener Optio- 
nen far die Visualisierung, wie zum Beispiel Zellen, die in- 
teraktiv schnittweise Ansichteri, eine Projektion maximaler 
Intensitat (MDP) oder simulierte Rontgenstrahlenerzeugung, 55 
eine Vblumenerzeugung usw. darstellen konnen. Die inter- 
aktiven Parameter verandem sich in Abhangigkeit von der 
Art der Visualisierung. Wahrend der Betrachtung eines 
Schnittes kann der Benutzer zum Beispiel die Parameter fur 
den Schnitt, die Neigung, den Zoornfaktor, den Fenster- 60 
wechsel und Pegel auswahlen, wahrend bei einer 3D An- 
sicht Steuereinheiten fiir eine Kameraposition und andere 
Parameter usw. hinzugefugt sind. 

Bei einer anderen altemativen Ausfiihrungsform kann ein 
ZusammenschluB von Visualisierungen durchgefuhrt wer- 65 
den, durch den Visualisierungen in verschiedenen Zellen zu- 
sammengefaBt werden, so daB Anderungen, die bei den Dar- 
stellungsparametern in einer Zelle der zusammengeschlos- 



308 A 1 

12 . 

senen Gruppe auflreten oder implementiert werden, autoina- 
tisch auf den Rest der 2^ellen in der Gruppe angewendet wer- 
den. Diese Darstellungsparameter umfassen das Fenster, 
den Pegel, den Zoornfaktor und die Neigung fur eine 2D- 
Ansicht; sowie den Standpunkt, die Kamera-Parameter, Be- 
zugsebenen, Transferfunktionen usw. fur eine 3D-Ansicht, 
ebenso wie eine Filterung und andere Verfahren zur Bio- 
transformation. Zum Beispiel konnen gemaB Fig. 2 die Bil- 
der 58 bis 66 in den Zellen Al , A2, B2 bzw. CI in der Weise 
zusammengeschlossen werden, daB eine Anderung eines der 
Visualisierungsparameter von einer Zelle den Visualisie- 
rungsparameter der ubrigen, zusammengeschlossenen Zel- 
len verandert. Bei diesem Beispiel kann eine Anderung der 
Auflosung zum Zoomen in einen Teii des Bildes 62 in der 
Zelle C2 dazu fiihren, daB der Bild-Spreadsheet-Generator 
10 die Auflosung in den Zellen Al, A2, Bi entsprechend an- 
dert, um in einen korrespondierenden Teil der entsprechen- 
den Bilder 58 bis 64 zu zoomen: 

Bei einer anderen altemativen Ausfuhmngsform kann ein 
ZusammenschluB der interaktiven Messung und des interes- 
sierenden Bereiches (ROI) vorgenommen werden. Wenn in 
einer Zelle der zusammengeschlossenen Gruppe interaktive 
Messungen wie zum Beispiel Messungen des Abstandes, 
der Hache, des Volumens, der Histogramm/Intensitatsei- 
genschaften usw. vorgenommen werden, werden die glei- 
chen Messungen auf die anderen Mitglieder der Gruppe ge- 
spiegelt Fiir auf einem Histogramm bzw. einer Intensitat ba- 
sierende Messungen kann das Ergebnis in jedem Volumen 
anders sein. Die ROI-Selektion und die Position der Zeiger 
oder anderer grafischer Indikatoren in Bezug auf Merkmale 
in den Bildem werden in alinlicher Weise zusammenge- 
schlossen. 

Der Bild-Spreadsheet-Generator 10 implementiert einen 
vollstandigen Programmiersprachen-Interpreter fur Aus- 
drucke und Gleichungen in den Zellen. Solche Ausdriicke 
und Gleichungen sind nicht nur einzeilige arithmetische, bi- 
nare Operationen oder unare Funktionen, sondem konnen 
auch mehrzeilige Programme sein, die tempbrare Variablen, 
Schleifen, Funktionsdefinitionen und andere Arten von an- 
spmchsvollen Ablaufsteuerungen und Rechenvorschriften 
enthalten. Die Ausdrucke konnen auch Aufrufe fur durch ei- 
nen Benutzer bereitgestellte exteme Funktionen und voll- 
standige Programme enthalten. Im Ermessen des Benutzers 
konnen einzelne Ausdrucke und volistandige Verarbeitungs- 
bogen gespeichert und wieder aufgerufen werden. 

Die Daten in einer Zelle mussen nicht unbedingt an jeder 
raumlichen Stelle einen einzigen Skalar aufweisen. Daten- 
satze konnen auch Vektor-bewertet sein, wobei die fur eine 
raumliche Stelle gespeicherten Informationen aus einer Li- 
ste von Datenelementen mit beliebiger Lange bestehen kon- 
nen. Die Anwendung eines Gradient- Operators auf ein Vo- 
lumen erzeugt zum Beispiel ein resultierendes Volumen, in 
dem jedem raumlichen Ort drei FlieBkommawerte zugewie- 
sen sind. 

Operationen sind zwischen Modalitaten und Arten von 
Funktionen uberladen; dies bedeutet, daB der Bild-Spreads- 
heet-Generator 10 automatisch die geeignete Operation aus 
dem Ausdruck und den ziigrundeliegenden Daten bestirnmt. 
Fiir so unterschiedliche Operationen wie zum Beispiel sca- 
lare und vektorielle Operationen wird zum Beispiel in dem 
Fall, in dem der Benutzer scalanvertige Volumina addiert, 
die scalare Addition verwendet und ein scalarwertiges Er- 
gebnis erzeugt. Wenn jedoch vektorwertige Volumina ad- 
diert werden, wird eine andere Art von Operation verwen- 
det, die eine Vektoraddition implementiert, und das Ergeb- 
nis ist ein vektorwertiges Volumen, Die Kompatibilitat die- 
ser Arten von Operanden in einer Gleichung wird automa- 
tisch gepriift, und die Gleichung wird durch den Bild-Spre- 
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adsheet-Generator 10 ausgewertet, wenn die Operanden 
kompatibel sind. Andernfalls informiert der Bild-Spreads T 
heet-Generator 10 den Benutzer uber das Bildsystem 14 
uber einen Fehler und/oder die Art einer Fehlanpassung und 
verhindert eine Ausfiihrung der Operation. 5 

Mit der obigen Beschreibung wird ein erfindungsgemafier 
Bild-Spreadsheet-Generator 10 und ein entsprechendes Ver- 
fahren anhand einer bevorzugten Ausfuhrungsform be- 
schrieben. Es sind jedoch zahlreiche Modifikation und An- 
derungen moglich, ohne den Schutzumfang der Erfindung 10 
zu verlassen. Auch wenn zum Beispiel im Zusammenhang 
mit der bevorzugten Ausfuhrungsform ein Bild-Spreadsheet 
beschrieben wird, gehort auch eine Bild-Datenbank, die in 
Verbindung mit dem Bild-Spreadsheet-Generator 10 in der 
oben beschriebenen Weise arbeitet, zu der Erfindung. Die 15 
Beschreibung dient somit nur zur Verdeutlichung und hat * 
keine beschrankende Wirkung. 

Patentanspriiche 

20 

1. Bildsystem zum Erzeugen eines Bild-Spreadsheets 
mit: 

einem Prozessor zum Anzeigen einer grafischen Benut- 
zerschnittstelle (GUI) auf einem Display; und 
einem Bild-Spreadsheet-Generator, mit dem bewirkt 25 
wird, daB die GUI ein Spreadsheet- Gitter mit einer 
Mehrzahl von Zellen mit zugeordneten Registrierungs- 
markern anzeigt, wobei jeder Zelle eine Gleichung zu- 
geordnet werden kann; 

wobei der Spreadsheet-Generator auf Bilddaten mit zu- 30 
geordneten Registrierungsdaten zum Anzeigen einer 
Mehrzahl von Bildern in einem Teil der Mehrzahl von 
Zellen anspricht, wobei die Mehrzahl von Bildern so 
ausgerichtet und orientiert ist, daB die Registrierungs- 
marker der entsprechenden Zellen zusammenpassen; 35 
und 

wobei der Bild-Spreadsheet-Generator auf Benutzer- 
Eingaben zum Implementieren eines Satzes von Glei- 
chungen in einem ersten Satz von Zellen anspricht, um 
erste Bilder in dem ersten Satz von Zellen zu transfer- 40 
mieren. 

2. Bildsystem nach Anspruch 1, bei dem der Bild- 
Spreadsheet-Generator vorbestimmte Bild-transfor- 
mierende. Funktionen implementiert, die durch einen 
Benutzer individuell angegeben werden, um aus den 45 
ersten Bildern transformierte Bilder in einem zweiten 
Satz von Zellen zu erzeugen. 

3. Bildsystem nach Anspruch 2, bei dem die vorbe- 
stimmten Bild-transformierenden Funktionen mathe- 
matische Funktionen sind. 50 

4. Bildsystem nach Anspruch 2, bei dem die vorbe- 
stimmten Bild-transformierenden Funktionen aus einer 
Gruppe ausgewahlt sind, die eine Schwellwertbildung, 
eine Graupegel-Fensterbildung, eine Bildverstarkung, 
eine Segmentation, eine Gestaltbildung, eine Stereo- 55 
Korrespondenz, eine Visualisierung, Vergleichsopera- 
tionen, ein Stutzen/Maskieren, eine Objekterkennung, 
eine Bildarchiv-Manipulation und eine Videobearbei- 
tung umfaBt. 

5. Bildsystem nach Anspruch 1, bei dem die Bilddaten 60 
eine Mehrzahl von Magnetresonanzbild (MRI)-Rah- 
men umfassen. 

6. Bildsystem nach Anspruch 5, bei dem die MRI- 
Rahmen mit Bildern einer Magnetresonanz- Angiogra- 
phic (MRA) korrespondieren, die Bilder umfassen, die 65 
das Eindringen eines Kontrastmittels in ein vaskulares 
System zeigen. 

7. Bildsystem nach Anspruch 6, bei dem die MRA- 
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Bilder einen zeitlichen Fortschritt des Eindringens des 
Kontrastmittels zeigen. 

8. Bildsystem nach Anspruch 7, bei dem der Bild- 
Spreadsheet-Generator eine Subtraktionsgleichung im- 
plementiert, um ein erstes Bild des vaskularen Systems 
ohne das Kontrastmittel aus einem zweiten Bild des 
vaskularen Systems mit Kontrastmittel zu fiitern, wo- 
durch ein Hufi des Kontrastmittel in dem System dar- 
gestellt wird. 

9. Bildsystem nach Anspruch 1, bei dem der Bild- 
Spreadsheet-Generator zweidimensionale Bilder in der 
Mehrzahl von Zellen erzeugt. 

10. Bildsystem nach Anspruch 1, bei dem der Bild- 
Spreadsheet-Generator dreidimensionale Bilder in der 
Mehrzahl von Zellen erzeugt. 

11. Bildsystem nach Anspruch 1, bei dem der Bild- 
Spreadsheet-Generator in der Mehrzahl von Zellen 
Text erzeugt. 

12. Bildsystem nach Anspruch 1, bei dem der Bild- 
Spreadsheet-Generator uber die GUI ein pop-up-Fen- 
ster erzeugt, um eine Eingabe durch einen Benutzer in 
eine entsprechende Zelle zu erleichtern. 

13. Bildsystem nach Anspruch 1, bei dem der Bild- 
Spreadsheet-Generator in einer ersten Zelle ein Esels- 
ohr-Icon erzeugt, das betatigbar ist, um selektiv eines 
einer Mehrzahl von Bildern wiederzugeben, die der er- 
sten Zelle zugeordnet sind. 

14. Bildsystem nach Anspruch 1, bei dem der Bild- 
Spreadsheet-Generator eine pop-up-Benutzerschnitt- 
stelle (Ul) erzeugt, die betatigbar ist, um selektiv eines 
einer Mehrzahl von Bildern wiederzugeben, die einer 
ersten Zelle zugeordnet sind. 

15. Bildsystem nach Anspruch 1, bei dem die Bilder 
mit einem Bildverfahren erzeugt werden, das aus einer 
Gruppe ausgewahlt ist, die eine Magnetresonanz (MR), 
eine Computertomographie (CT), eine Positronen- 
Emissionstomographie (PET), eine Einzel-Photonen- 
Emissions-CT (SPECT) und 3D Ultraschall umfaBt. 

16. Bildsystem nach Anspruch 1, bei dem der Bild- 
Spreadsheet-Generator eine zusammengefaBte Visuali- 
sierung von ersten Bildern durchfuhrt, wonach der 
Bild-Spreadsheet-Generator die ersten Bilder in einen 
ersten Satz von Zellen transformiert, die so zusammen- 
gef aBt werden, daB eine Transformation eines Bildes in 
einer Zelle entsprechend der zusammengefaBten VI- 
sualisierungs-Parameter auf das entsprechende, in min- 
destens einer zweiten Zelle wiedergegebene Bild aus- 
gefuhrtwird. 

17. Bildsystem zum Erzeugen eines Bild-Spreadsheets 
mit: 

einem Prozessor zum Anzeigen einer grafischen Benut- 
zerschnittstelle (GUI) auf einem Display; und 
einem Bild-Spreadsheet-Generator, mit dem bewirkt 
wird, daB die GUI ein Spreadsheet-Gitter mit einer 
Mehrzahl von Zellen mit zugeordneten Registrierungs- 
markem anzeigt, wobei jeder Zelle eine Gleichung zu- 
geordnet werden kann, sowie zum Anzeigen von mehr- 
dimensionalen Bildern; 

wobei der Bild-Spreadsheet-Generator auf einen Satz 
von Gleichungen in einem ersten Satz von Zellen an- 
spricht, um erste Bilder in dem ersten Satz von Zellen 
zu transformieren; 

wobei der Bild-Spreadsheet-Generator auf Bilddaten 
anspricht, die mit mehrdimensionalen Bildern korre- 
spondieren, zum automatischen Ausrichten der Bilder 
durch Transformationen des ersten Satzes von Zellen 
vor der Anwendung des Satzes von Gleichungen auf 
diesen ersten Satz von Zellen. 
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18. Bildsystem nach Anspruch 17, bei dem die Trans- 
formationen zum Ausrichten starre Transformationen 
sind. 

19. Bildsystem nach Anspruch 17, bei dem die Trans- 
formationen zum Ausrichten verwerfende Transforma- 5 
tionen sind. \ 

20. Bildsystem nach Anspruch 17, bei dem der Bild- 
Spreadsheet-Generator eine anatomische Koharenz 
zwischen verschiedenen Bildern erzeugt, die in ver- 
schiedenen Zellen des Bild-Spreadsheets angezeigt 10 
werden. 

21. Verfahren zum Implementieren eines Bild-Spre- 
adsheets mit folgenden Schritten: 

Anzeigen eines Spreadsheet-Gitters mit einer Mehr- 
zahl von Zellen mit einer grafischen Benutzerschnitt- 15 
stelle(GUI); 

Zuordnen einer Gleichung zu mindestens einer der 
Mehrzahl von Zellen; 

Verarbeiten von Bilddaten mit zugeordneten Registrie- 
rungsdaten zum Anzeigen einer Mehrzahl von Bildem 20 
in einem Teil der Mehrzahl von Zellen; 
Ausrichten und Orientieren der Mehrzahl von Bildem 
in den entsprechenden Zellen, so daB die Registrie- 
rungsmarker von entsprechenden Zellen zusammen- 
. passen; und 25 
Transforrnieren von ersten Bildern in einem ersten Satz 
von Zellen gemaB der mindestens einen Gleichung. 
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